Đất Phú Bình ngày nay là đất huyện TNông thời nhà Lý. Trong lịch sử, huyện TNông còn có những tên gọi khác là Dương Xá, Tây Nông, Tây Nùng... Năm 1466, huyện TNông là một trong 9 châu, huyện của phủ Phú Bình thuộc thừa tuyên Thái Nguyên (sau đổi là Ninh Sóc, rồi xứ, trấn Thái Nguyên). Đến thế kỷ XIX, triều Nguyễn, năm 1831 vua Minh Mạng chia cả nước thành 31 tỉnh, tỉnh Thái Nguyên gồm 2 phủ là Phú Bình và Tòng Hóa; huyện TNông thuộc phủ Phú Bình, có 9 tổng gồm 54 xã, thôn:

• Tổng Nhã Lộng có 5 xã: Triều Dương, Nhã Lộng, Úc Kỳ, Điềm Thuỵ, Ngọc Long và 2 thôn Ngọc Sơn, Cống Thượng.
• Tổng Thượng Đình có 7 xã: Thượng Đình, Quan Trường, Đào Xá, Ninh Sơn, Thuần Lương, Dưỡng Mông, Lạc Dương và 2 thôn Nông Cúng, Đình Kiều.
• Tổng Nghĩa Hương có 2 xã: Trang Ôn, Vân Dương và 2 thôn Cầu Đông, Yên Mễ.
• Tổng La Đình có 7 xã: La Đình, Mai Sơn, Kha Nhi, Bằng Cầu, La Sơn, Phương Độ, Úc Sơn và 2 thôn Thượng, Hạ.
• Tổng Phao Thanh có 6 xã: Phao Thanh, Lương Tạ, Phú Mỹ, Lương Trình, Thanh Lương, Ngô Xá.
• Tổng Đức Lân có 4 xã: Đức Lân, Nỗ Dương, Loa Lâu, Lữ Vân và 2 thôn Nội, Ngoại.
• Tổng Tiên La có 4 xã: Tiên La, Điều Khê, Bạch Thạnh, Vân Đồn.
• Tổng Lý Nhân có 6 xã: Lý Nhân, Đăng Nhân, Kim Lĩnh, Chỉ Mê, Lã An, Cổ Dạ.
• Tổng Bảo Nang có 3 xã: Bảo Nang, Thanh Huống, Triều Dương và phường Thuỷ Cơ.

Vào cuối thế kỷ XIX, vùng đất ngày nay là xã Hà Châu và xã Nga My được cắt khỏi huyện Hiệp Hòa, phủ Bắc Hà, tỉnh Bắc Ninh để nhập vào huyện TNông, tỉnh Thái Nguyên.

Năm 1904, chính quyền thực dân Pháp đặt cấp châu, huyện trực thuộc cấp tỉnh. Huyện TNông đổi thành huyện Phú Bình từ đây. Huyện Phú Bình vẫn giữ nguyên 9 tổng, 45 xã.

Dưới chính thể Việt Nam Dân chủ Cộng hòa, ngày 25 tháng 3 năm 1948, Chủ tịch Hồ Chí Minh ký Sắc lệnh số 148SL thống nhất trong cả nước bỏ phủ, châu, quận. Trên cấp xã là huyện. Huyện Phú Bình khi đó gồm có thị trấn Úc Sơn và 21 xã: Bàn Đạt, Bảo Lý, Đào Xá, Điềm Thụy, Đồng Liên, Dương Thành, Hà Châu, Hương Sơn, Kha Sơn, Lương Phú, Nga My, Nhã Lộng, Tân Đức, Tân Hòa, Tân Khánh, Tân Kim, Tân Thành, Thanh Ninh, Thượng Đình, Úc Kỳ, Xuân Phương.

Ngày 1 tháng 7 năm 1956, Chủ tịch Hồ Chí Minh ký Sắc lệnh số 268-SL thành lập khu tự trị Việt Bắc. Tỉnh Thái Nguyên trong khu tự trị Việt Bắc gồm thị xã Thái Nguyên và các huyện Định Hóa, Phú Lương, Đại Từ, Đồng Hỷ và Võ Nhai. Huyện Phú Bình tách sang tỉnh Bắc Giang, huyện Phổ Yên về tỉnh Vĩnh Phúc.

Ngày 15 tháng 6 năm 1957, Chủ tịch Hồ Chí Minh ký Quyết định sáp nhập 2 huyện Phú Bình và Phổ Yên trở lại tỉnh Thái Nguyên.

Ngày 21 tháng 4 năm 1965, Ủy ban Thường vụ Quốc hội nước Việt Nam Dân chủ Cộng hòa ra Nghị quyết số 103NQ-TVQH thành lập tỉnh Bắc Thái trên cơ sở hợp nhất tỉnh Bắc Kạn và tỉnh Thái Nguyên. Huyện Phú Bình là một trong 14 đơn vị hành chính cấp huyện thuộc tỉnh Bắc Thái.

Ngày 6 tháng 11 năm 1996, trong kỳ họp thứ 10 Quốc hội khóa IX, Quốc hội nước Cộng hòa Xã hội Chủ nghĩa Việt Nam đã ra Nghị quyết tách tỉnh Bắc Thái để tái lập hai tỉnh Thái Nguyên và Bắc Kạn. Từ đó, huyện Phú Bình thuộc tỉnh Thái Nguyên, gồm 1 thị trấn và 21 xã.

Ngày 13 tháng 6 năm 2003, Chính phủ ban hành Nghị định số 68/2003/NĐ-CP, hợp nhất thị trấn Úc Sơn và xã Hương Sơn thành thị trấn Hương Sơn.[3]

Ngày 18 tháng 8 năm 2017, chuyển xã Đồng Liên về thành phố Thái Nguyên quản lý.[1]

Sau khi điều chỉnh, huyện Phú Bình còn lại 243,37 km2 diện tích tự nhiên và 144.908 người, có 1 thị trấn và 19 xã như hiện nay.